才办了五年的 ICLR,为何被誉为“深度学习的顶级会议”?
AI科技评论按:ICLR 2017 将于4月24-26日在法国土伦举行,届时雷锋网AI科技评论的编辑们也将前往法国带来一线报道。在这个深度学习会议举办之前,AI科技评论也将围绕会议议程及论文介绍展开一系列的覆盖和专题报道,敬请期待。
ICLR,全称为「International Conference on Learning Representations」(国际学习表征会议),2013 年才刚刚成立了第一届。这个一年一度的会议虽然今年才办到第五届,但已经被学术研究者们广泛认可,被认为「深度学习的顶级会议」。
尽管彼时顶级的国际会议多如牛毛,像雷锋网曾经覆盖过的 AAAI、CVPR、ACL 及 NIPS 等会议,都是拥有多年历史的老牌学术会议,它们也被 CCF 评选为一类会议。那么为何 ICLR 还会「后来居上」,一跃成为深度学习炙手可热的无冕之王呢?
小荷才露尖尖角
首先,这个会议的来头不小,由位列深度学习三大巨头之二的 Yoshua Bengio 和 Yann LeCun 牵头创办。
Yoshua Bengio 是蒙特利尔大学教授,深度学习三巨头之一,他领导蒙特利尔大学的人工智能实验室(MILA)进行 AI 技术的学术研究。MILA 是世界上最大的人工智能研究中心之一,与谷歌也有着密切的合作。
而 Yann LeCun 就自不用提,同为深度学习三巨头之一的他现任 Facebook 人工智能研究院(FAIR)院长、纽约大学教授。作为卷积神经网络之父,他为深度学习的发展和创新作出了重要贡献。
至于创办 ICLR 的原因何在,雷锋网尝试从 Bengio 和 LeCun 于 ICLR 第一届官网所发布的公开信推测一二。
「众所周知,数据的应用表征对于机器学习的性能有着重要影响。表征学习的迅猛发展也伴随着不少问题,比如我们如何更好地从数据中学习更具含义及有效的表征。我们对这个领域展开了探索,包括了深度学习、表征学习、度量学习、核学习、组合模型、非常线性结构预测及非凸优化等问题。
尽管表征学习对于机器学习及包括视觉、语音、音频及 NLP 领域起着至关重要的作用,目前还缺乏一个场所,能够让学者们交流分享该领域所关心的话题。ICLR 的宗旨正是填补这一鸿沟。」
从两人的说法中,ICLR 希望能为深度学习提供一个专业化的交流平台。但实际上 ICLR 不同于其它国际会议,得到好评的真正原因,并不只是他们二位所自带的名人光环,而在于它推行的 Open Review 评审制度。
Open Review 评审机制
目前的论文审核主要分为单盲 (single-blind review)、双盲 (double-blind review) 及开放评审(open review)等多种形式。单盲评审的含义非常简单,即评审知道作者的名字、学校等身份信息,但作者并不知道评审论文的人是谁;而双盲评审则是双方都不知晓彼此的身份信息。这两种方式为较多学术会议及期刊评审论文的主要途径。
单盲评审的优势非常明显,即评审处于匿名身份,可以让评审免受压力,但评审由于知道了论文的作者信息,则非常有可能产生刻板印象,产生不够客观的评审结果。比如,对于比较有名的学者,评审会对论文的质量产生预设。而双盲评审则能够大幅降低作者个人信息所带来的附加效应,不过,评审也非常有可能从行文、主题中判断作者的信息。
而 Open Review 则非常不同,根据规定,所有提交的论文都会公开姓名等信息,并且接受所有同行的评价及提问(open peer review),任何学者都可或匿名或实名地评价论文。而在公开评审结束后,论文作者也能够对论文进行调整和修改。
ICLR 虽然并不一定是第一个采用 Open Review 进行论文评审的机构,但一定是做得最公开、影响范围最大的一个会议。虽然 ICLR 开了公开透明的先河,但也有可能引来争议及不必要的舆论讨论,比如前段时间雷锋网提及的 ICLR 最佳论文,就在 Open Review 上引来了公开讨论。
目前 ICLR 的历届所有论文及评审讨论的内容,都完整地保存在 OpenReview.net 上,它也是 ICLR 的官方投稿入口。OpenReview.net 是马萨诸塞大学阿默斯特学院 Andrew McCallum 为 ICLR 2013 牵头创办的一个公开评审系统,秉承公开同行评审、公开发表、公开来源、公开讨论、公开引导、公开推荐、公开 API 及开源等八大原则,得到了 Facebook、Google、NSF 和马萨诸塞大学阿默斯特中心等机构的支持。此外,目前它也接受其它学术会议的论文投递。
这样的公开评审制度在双盲或单盲的学术会议环境下可谓一股清流,迅速吸引了学界的注意。
大牛背书的 ICLR
那么大家对 ICLR 的风评如何?雷锋网 AI 科技评论在 Quora 上看到不少人对 ICLR 的评价,发现几个特点:
首先,ICLR 经常与几个名声在外的大会相提并论,:「对于 ML&NLP 的低年级博士生,第一次在像 ICML/ACL/NIPS/ICLR?NAACL 等顶级会议中发表论文是一种怎样的体验?」
还有「像 NIPS/ICML/ICLR/AAAI 等会议是如何筛选论文的?」这样的问题,可以看出提问者对于 ICLR 还是非常看重的。
其次,Bengio 等大牛也在一些深度学习的回答中巧妙地植入了 ICLR 的「软广」,比如在 2014 年一个题为中,Bengio 就回答道:
「我建议你看看 ICLR 2013 和 2014 的论文,可能会带给你一些启发。……」
约翰霍普金斯计算机科学教授 Jason Eisner 也提及,「我受邀在 ICLR/NIPS 和 ICML 做了 workshop 报道。」
LeCun 在一个题为「2016 年你读过的最有趣的论文是什么?」的问题中,他说:「我不想选那些什么最佳论文,但我会看看 ICLR 2016 的论文。」随后丢出了一个 ICLR 2016 的入选论文列表。
大牛们在 Quora 上的背书和关注,同样也会借助名人效应引起更多读者的关注和了解,而这样的循环往复,又能吸引优质论文的产出和评选,加上合理评审机制的学术氛围,也能形成正向的反馈。因此,也有不少巨头或大公司研究院纷纷向 ICLR 投递论文,形成了良性循环。
以谷歌为例,在 ICLR 举办第一届时,谷歌投递了 10 篇论文,2014 年投递了 9 篇,2016 年也只是不温不火的 11 篇论文,而今年这个数字达到了 88 篇(包括与其它机构合作的论文)。
值得一提的是,两位组委会成员也不遗余力地支持 ICLR,LeCun 今年一口气向 ICLR2017 投递了五篇论文,而更猛的是 Yoshua Bengio,他投递了 16 篇论文。
回望 ICLR 的短短五年,在名人效应、合理机制及大牛背书的帮助下,ICLR一跃成为最为炙手可热的学术会议。有意思的是,第一届 ICLR 可能由于规模较小,当时是和 AISTATS 2013(第 16 届国际人工智能及统计会议)一同合办的,殊不知 ICLR 在短短五年间迅速成为深度学习领域无人不知的顶级会议,当真是今非昔比呀。雷锋网也将带来更多关于 ICLR 2017 的新闻,敬请关注。
报名 |【2017 AI 最佳雇主】榜单
在人工智能爆发初期的时代背景下,雷锋网联合旗下人工智能频道AI科技评论,携手《环球科学》和 BOSS 直聘,重磅推出【2017 AI 最佳雇主】榜单。
从“公司概况”、“创新能力”、“员工福利”三个维度切入,依据 20 多项评分标准,做到公平、公正、公开,全面评估和推动中国人工智能企业发展。
本次【2017 AI 最佳雇主】榜单活动主要经历三个重要时段:
2017.4.11-6.1 报名阶段
2017.6.1-7.1 评选阶段
2017.7.7 颁奖晚宴
最终榜单名单由雷锋网、AI科技评论、《环球科学》、BOSS 直聘以及 AI 学术大咖组成的评审团共同选出,并于7月份举行的 CCF-GAIR 2017大会期间公布。报名期间欢迎大家踊跃自荐或推荐心目中的最佳 AI 企业公司。
报名方式
如果您有意参加我们的评选活动,可以点击【阅读原文】,进入企业报名通道。提交相关审核材料之后,我们的工作人员会第一时间与您取得联系。
【2017 AI 最佳雇主】榜单与您一起,领跑人工智能时代。